大数据工程师面试题 1.选择题 1.1.下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2.HDfS 中的 block 默认保存几份?...
2)JVM heap(堆内存)设置4G或更高二、channel优化Flume如何保证数据安全(高可用)事务机制Flume解决数据重复负载均衡知道 Flume 的 Channel 是啥吗介绍一下 Memory Channel说说 File Channel说说 Kafka Channel...
Hadoop hdfs中小文件的处理 (1)采用har归档方式,将小文件归档 (2)采用Combine TextInputFormat 请列出正常工作的hadoop集群中hadoop都需要启动哪些进程,他们的作用分别是什么? namenode =>...
Q1、 kafka基本原理,kafka如何保证接收消息的顺序性 Kafka基本原理:Kafka是apache开源一个分布式的、可分区的、可复制的消息系统。将消息的发布称producer,将消息的订阅表述为 consumer,将中间的存储阵列称作 ...
文章目录数据流模型复杂流可靠性可恢复性sourceAvro SourceThrift SourceExec SourceSpooling Directory SourceEvent反序列化器LINEAVROBlobDeserializerKafka SourceNetCat TCP SourceNetCat UDP SourceSyslog ...
RocketMQ〖六〗消息的存储,高可用性机制,负载均衡一. 消息存储1. 存储介质2. 性能对比3. 消息的存储和发送1)消息存储2)消息发送4. 消息存储结构5. 刷盘机制1)同步刷盘2)异步刷盘3)配置二. 高可用性机制1. 消息...
Flume组件Source、Channel和Sink使用说明Flume SourcesAvro Source配置范例Thrift Source配置范例Exec Source配置范例JMS Source关于转化器配置范例Spoolinng Directory Source配置范例Event反序列化器Taildir ...
1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 先分析宕机后的损失,宕机后直接导致client无法访问,内存中的...
目录 一、Flume简介 二、Flume架构 2.1 Flume基本组件 2.2 Flume常见数据流模型 三、Source,Channel,Sink 详解 ...本文仅用于学习记录总结所用,配置方面有大量参考官方文档,以方便查阅,不喜勿喷。...
选择题 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode HDfS 中的 block 默认保存几份?...a)3 份 b)2 份 c)1 份 d)不确定 ...
1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决 先分析宕机后的损失,宕机后直接导致client无法访问,内存中的...
1. 选择题1.1. 下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker答案 C datanode1.2. HDfS 中的 block 默认保存几份?a)3 份 b)2 份 c)1 份 d)不确定答案...
1. 选择题 1.1. 下面哪个程序负责 HDFS 数据存储。 c)Datanode 答案 C datanode 1.2. HDfS 中的 block 默认保存几份? a)3 份 ...1.3. 下列哪个程序通常与 NameNode 在一个节点启动?...答案:...